抓取乐视大作战

今天乐视的股价可以说是从水深火热到激情澎湃，振幅高达 19.5% ，不知大家都赚到了吗？

不管赚没赚到，买股票前收集资料进行调研还是必须的。

上市公司信息发布哪里权威呢，自然是巨潮资讯，毕竟是中国证监会指定信息披露网站。

如何抓取其中乐视相关 pdf 文件呢，从网站上一个个下载多累，还未必能找全，我教你个办法，自动化抓取，一劳永逸。下面开始演示。

一、搜索

这里以从 巨潮资讯网 全站 乐视 相关 pdf 为例，巨潮网址：

http://www.cninfo.com.cn

注意里面用了 site 和 filetype 两个操作符，这两个啥用途呢？

site 用于列出某域名下所有网页（包含文件）

filetype 用于筛选文件类型

二者结合就起到列出网站下所有 搜索词相关 pdf 文件的目的。

二、抓取

现在链接有了，如何抓取呢，这里就该 Web Scraper 出场了。

2、按如下结构建立选择器。

3、抓取并导出 Excel 如下。

三、下载

链接有了，如何下载呢，迅雷上呗。

下载任务圆满完成：

四、思考

1、乐视抓完了，格力呢？巨潮会抓了，别的网站呢？

2、如果把搜索词乐视去掉又会如何？这里面有什么花头可挖？

3、filetype 后面换个别的文件类型呢，比如 ppt，doc，xls？

4、百度 高级搜索 界面如下，你还能想出什么玩法？

【福利】

1、回复 wsdd，获取我翻译的《Web Scraper官方文档》。

2、回复 wssm，获得 各大常见网站 Sitemap 示例，此列表还会持续更新。

3、我建了个在线文档 「爬虫学习材料梳理」，网址：

https://shimo.im/docs/qc5HJYODsNQJcL6k/ 

4、我组建了一个 免费微信群 共同打磨爬虫技能，回复 社群 了解加入方式，一起切磋，互开脑洞。

5、因为本人 Web Scraper 爬虫课需要写点新意出来，拾人牙慧亦步亦趋不是我的风格，所以更新较慢，如等不及可回复 明白爬虫课，获取 明白 大神的课程链接，他的Web Scraper课程我曾经完整听过，值得推荐。

您可能对以下文章也感兴趣：